BytčaPrvá písomná zmienka pochádza z roku 1234, kedy bola obec vo vlastníctve nitrianskeho biskupstva. Už v 13. storočí tu tiež stál menší hrad. Behom 1. polovice 15. storočia sa Bytče zmocnil Pongrácz zo Svätého Mikuláša, neskôr ju mali v záložnej držbe napríklad Thurzovci, Podmanickí alebo Imrefyovci. V roku 1558 prešla Bytča na kráľovskú komoru a v roku 1563 ju kúpil František Thurzo, ktorý dal v rokoch 1571-1574 prestavať starší stredoveký vodný hrad na kaštieľ. V roku 1621 zomrel Imrich Thurzo a panstvo prevzala manželka Kristína Nyáryová, ktorá sa v roku 1624 vydala za Mikuláša Esterházyho. Esterházyovci následne panstvo vlastnili až do polovice 19. storočia. V roku 1862 ho prenajali a v roku 1868 predali obchodníckej rodine Popperovcov.
